当前位置: 开发笔记 > 编程语言 > 正文

故障分析|如何提高MHA的网络容忍能力？（上）

作者：不要芹菜味 | 来源：互联网 | 2023-09-15 16:27

作者：刘开洋

爱可生交付服务部团队北京 DBA，主要负责处理 MySQL 的 troubleshooting 和我司自研数据库自动化管理平台 DMP 的日常运维问题，对数据库及周边技术有浓厚的学习兴趣，喜欢看书，追求技术。

本文来源：原创投稿

*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

一、问题说明

MHA 虽然停止更新了，但是其高可用的强大仍然为很多公司所青睐。我司客户由于一次网络故障，导致公司整体的网络通信出现问题，网络丢包严重，进而 MHA 管理下的 MySQL 主从集群发生切换。

众所周知，MHA 对数据库高可用集群的维护是一次性的，出现切换就要手工去重新加入集群，如果所有服务器网络再次出现问题，MHA 的频繁切换就会影响生产。

客户咨询：如果再出现这种网络问题，如何提高 MHA 的容忍能力？

接下来我们就对该场景进行相关测试。

二、环境信息

在测试过程中，尽最大可能地和客户现场的配置信息尽量相同，达到接近生产环境的测试效果。

测试参数

ping_interval
该参数表示 MHA manager 节点 ping（执行 select ping sql 语句）master 节点的间隔，如果连续三个丢失 ping 连接，MHA manager 就判定 master 宕掉了。
参数通过 4 次 ping 间隔(9s)的最大时间的机制来发现故障，从而进行 failover，默认参数值为 3，表示每次 ping 的间隔是 3 秒。
secondary_check_script
默认情况下，MHA Manager 只会通过执行 select ping sql 语句来检查 Master 是否存活。通过 review 相关参数发现，可以通过使用外部 secondary_check_script 配置的脚本来做到从多个网络连接进行检查。
配置：
secondary_check_script = masterha_secondary_check -s remote_host1 -s remote_host2
原理：MHA 内置 masterha_secondary_check 容忍大多数网络场景现象，而不发生 failover。

上图所示 manager 通过 remote_host1 和 remote_host2 来检查 master 节点是否存活。

只有在 manager 通过 remote_host1 和 remote_host2 检查 master 节点均失败的情况下，才会判定 master 节点不可用。其他情况，一律认为 master 还是活的。

所以可以通过配置多条路由策略的方式，来提高 MHA 对网络问题的容忍能力。

三、测试结果及分析

测试网络丢包、坏包、重传、延迟等场景，发现网络丢包和坏包两种场景测试会满足 MHA 发生切换，因此针对这两种场景进行 MHA 参数对比测试。

在本次测试环境中使用 sysbench 压测工具模拟业务场景，在 Mnanger 节点和 MySQL 端，模拟配置丢包率、坏包率模拟网络通信问题，使得 MHA 因网络故障问题发生切换，以尽量复现生产的故障环境。

说明：在生产环境 MHA 参数配置相同的情况下，经多次测试，在以下场景中，5 分钟之内均会发生 MHA 的切换。因此默认观测时间为 5 分钟。

3.1 坏包场景

仅坏包场景下，达到 70% 才开始切换。

测试说明：在模拟坏包 70% 的情况中，关闭 secondary_check_script 参数，将 ping_interval 调大可影响 MHA 的切换，提高网络容忍性。调高坏包率时与之前相同 ping_interval 值的场景做对比，可见坏包率增加，会促使 MHA 切换。

从实验结果上看，在坏包率相同时，设置 ping_interval 的值不变，开启 secondary_check_script 参数调用相关脚本进行网络路由的多策略检查会增加 MHA 对网络的容忍性，在调高坏包率的情况下，可观测到 manager 节点没有挂掉。

3.2 丢包场景

仅丢包场景下，达到 50% 才开始切换。

测试说明：当前测试结果中，场景为模拟丢包 50%，故障主机为 manager 节点、主节点、从节点。ping_interval 参数值为 3（默认值）时在测试时间内 MHA 发生切换。以上场景中，随着 ping_interval 参数值的调大和配置 secondary_check_script 参数后在测试时间内 MHA 均没有切换。

日志输出情况分析

ping_interval 日志输出信息

10.186.63.40(10.186.63.40:7788) (current master) +--10.186.63.153(10.186.63.153:7788) +--10.186.63.52(10.186.63.52:7788) Thu Jan 28 16:18:17 2021 - [warning] master_ip_failover_script is not defined. Thu Jan 28 16:18:17 2021 - [warning] shutdown_script is not defined. Thu Jan 28 16:18:17 2021 - [info] Set master ping interval 3 seconds. Thu Jan 28 16:18:17 2021 - [warning] secondary_check_script is not defined. It is highly recommended setting it to check master reachability from two or more routes. Thu Jan 28 16:18:17 2021 - [info] Starting ping health check on 10.186.63.40(10.186.63.40:7788).. Thu Jan 28 16:18:17 2021 - [info] Ping(SELECT) succeeded, waiting until MySQL doesn't respond.. Thu Jan 28 16:19:32 2021 - [warning] Got timeout on MySQL Ping(SELECT) child process and killed it! at /usr/share/perl5/vendor_perl/MHA/HealthCheck.pm line 431. Thu Jan 28 16:19:32 2021 - [info] Executing SSH check script: exit 0 Thu Jan 28 16:19:35 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Thu Jan 28 16:19:35 2021 - [warning] Connection failed 2 time(s).. Thu Jan 28 16:19:37 2021 - [warning] HealthCheck: Got timeout on checking SSH connection to 10.186.63.40! at /usr/share/perl5/vendor_perl/MHA/HealthCheck.pm line 342. Thu Jan 28 16:19:38 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Thu Jan 28 16:19:38 2021 - [warning] Connection failed 3 time(s).. Thu Jan 28 16:19:41 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Thu Jan 28 16:19:41 2021 - [warning] Connection failed 4 time(s).. Thu Jan 28 16:19:41 2021 - [warning] Master is not reachable from health checker! Thu Jan 28 16:19:41 2021 - [warning] Master 10.186.63.40(10.186.63.40:7788) is not reachable! Thu Jan 28 16:19:41 2021 - [warning] SSH is NOT reachable. Thu Jan 28 16:19:41 2021 - [info] Connecting to a master server failed. Reading configuration file /etc/masterha_default.cnf and /data/masterha/app1.cnf again, and trying to connect to all servers to check server status..

说明：在配置参数 ping_interval 后，manager 日志中可观测到每 3 秒进行一次 ping 操作连接 MySQL 的主实例，3 次无法连接后，判定 master 故障，进行 manager 配置文件检测，准备进行切换操作。

secondary_check_script 输出日志信息

10.186.63.40(10.186.63.40:7788) (current master) +--10.186.63.153(10.186.63.153:7788) +--10.186.63.52(10.186.63.52:7788) Mon Jan 25 15:51:36 2021 - [warning] master_ip_failover_script is not defined. Mon Jan 25 15:51:36 2021 - [warning] shutdown_script is not defined. Mon Jan 25 15:51:36 2021 - [info] Set master ping interval 3 seconds. Mon Jan 25 15:51:36 2021 - [info] Set secondary check script: masterha_secondary_check -s 10.186.63.153 -s 10.186.63.52 Mon Jan 25 15:51:36 2021 - [info] Starting ping health check on 10.186.63.40(10.186.63.40:7788).. Mon Jan 25 15:51:39 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:51:39 2021 - [warning] Connection failed 1 time(s).. Mon Jan 25 15:51:39 2021 - [info] Executing secondary network check script:masterha_secondary_check -s 10.186.63.153 -s 10.186.63.52 --user=root --master_host=10.186.63.40 --master_ip=10.186.63.40 --master_port=7788 --master_user=mha --master_password=123456 --ping_type=SELECT Mon Jan 25 15:51:39 2021 - [info] Executing SSH check script: exit 0 Master is reachable from 10.186.63.153! Mon Jan 25 15:51:41 2021 - [warning] Master is reachable from at least one of other monitoring servers. Failover should not happen. Mon Jan 25 15:51:44 2021 - [warning] HealthCheck: SSH to 10.186.63.40 is NOT reachable. Mon Jan 25 15:51:46 2021 - [info] Ping(SELECT) succeeded, waiting until MySQL doesn't respond.. Mon Jan 25 15:51:46 2021 - [warning] Got error on MySQL select ping: 2006 (MySQL server has gone away) Mon Jan 25 15:51:49 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:51:49 2021 - [warning] Connection failed 3 time(s).. Mon Jan 25 15:51:52 2021 - [info] Ping(SELECT) succeeded, waiting until MySQL doesn't respond.. Mon Jan 25 15:56:12 2021 - [warning] Got timeout on MySQL Ping(SELECT) child process and killed it! at /usr/share/perl5/vendor_perl/MHA/HealthCheck.pm line 431. Mon Jan 25 15:56:12 2021 - [info] Executing secondary network check script:masterha_secondary_check -s 10.186.63.153 -s 10.186.63.52 --user=root --master_host=10.186.63.40 --master_ip=10.186.63.40 --master_port=7788 --master_user=mha --master_password=123456 --ping_type=SELECT ...skipping... Mon Jan 25 15:58:18 2021 - [info] Executing secondary network check script: masterha_secondary_check -s 10.186.63.153 -s 10.186.63.52 --user=root --master_host=10.186.63.40 --master_ip=10.186.63.40 --master_port=7788 --master_user=mha --master_password=123456 --ping_type=SELECT Mon Jan 25 15:58:18 2021 - [info] Executing SSH check script: exit 0 Master is reachable from 10.186.63.153! Mon Jan 25 15:58:20 2021 - [warning] Master is reachable from at least one of other monitoring servers. Failover should not happen. Mon Jan 25 15:58:21 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:58:21 2021 - [warning] Connection failed 2 time(s).. Mon Jan 25 15:58:23 2021 - [warning] HealthCheck: Got timeout on checking SSH connection to 10.186.63.40! at /usr/share/perl5/vendor_perl/MHA/HealthCheck.pm line 342. Mon Jan 25 15:58:24 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:58:24 2021 - [warning] Connection failed 3 time(s).. Mon Jan 25 15:58:27 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:58:27 2021 - [warning] Connection failed 4 time(s).. Mon Jan 25 15:58:27 2021 - [warning] Secondary network check script returned errors. Failover should not start so checking server status again. Check network settings for details. Mon Jan 25 15:58:30 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:58:30 2021 - [warning] Connection failed 1 time(s).. Mon Jan 25 15:58:30 2021 - [info] Executing secondary network check script:masterha_secondary_check -s 10.186.63.153 -s 10.186.63.52 --user=root --master_host=10.186.63.40 --master_ip=10.186.63.40 --master_port=7788 --master_user=mha --master_password=123456 --ping_type=SELECT Mon Jan 25 15:58:30 2021 - [info] Executing SSH check script: exit 0 Mon Jan 25 15:58:35 2021 - [warning] HealthCheck: Got timeout on checking SSH connection to 10.186.63.40! at /usr/share/perl5/vendor_perl/MHA/HealthCheck.pm line 342. Master is reachable from 10.186.63.153! Mon Jan 25 15:58:37 2021 - [warning] Master is reachable from at least one of other monitoring servers. Failover should not happen. Mon Jan 25 15:58:41 2021 - [info] Ping(SELECT) succeeded, waiting until MySQL doesn't respond.. Mon Jan 25 15:58:44 2021 - [warning] Got timeout on MySQL Ping(SELECT) child process and killed it! at /usr/share/perl5/vendor_perl/MHA/HealthCheck.pm line 431. Mon Jan 25 15:58:47 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:58:47 2021 - [warning] Connection failed 3 time(s).. Mon Jan 25 15:58:50 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:58:50 2021 - [warning] Connection failed 4 time(s).. Mon Jan 25 15:58:50 2021 - [warning] Secondary network check script returned errors. Failover should not start so checking server status again. Check network settings for details. Mon Jan 25 15:58:53 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:58:53 2021 - [warning] Connection failed 1 time(s).. Mon Jan 25 15:58:53 2021 - [info] Executing SSH check script: exit 0 Mon Jan 25 15:58:53 2021 - [info] Executing secondary network check script:masterha_secondary_check -s 10.186.63.153 -s 10.186.63.52 --user=root --master_host=10.186.63.40 --master_ip=10.186.63.40 --master_port=7788 --master_user=mha --master_password=123456 --ping_type=SELECT Mon Jan 25 15:58:56 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4)) Mon Jan 25 15:58:56 2021 - [warning] Connection failed 2 time(s).. Mon Jan 25 15:58:58 2021 - [warning] HealthCheck: Got timeout on checking SSH connection to 10.186.63.40! at /usr/share/perl5/vendor_perl/MHA/HealthCheck.pm line 342. Mon Jan 25 15:58:59 2021 - [warning] Got error on MySQL connect: 2003 (Can't connect to MySQL server on '10.186.63.40' (4))

说明：在配置参数 secondary_check_script 后的 manager 日志中可观测到 MHA多次进行二次网络连接检测。

测试结论

根据以上单变量实验测试，在坏包丢包的场景下，从 manager 日志中可判断：参数 ping_interval 和 secondary_check_script 在网络情况较差时，可延长 MHA 的判断时间和抑制切换频率。 MHA 集群在网络环境较差时，网络容忍性有所提高。但无法保证 MHA 不发生切换。

当前测试环境与生产存在差异，测试结果也有一定的随机概率，以上测试结果供参考。
secondary_check_script 参数可以使 manager 有更多的网络连接策略去判断主从之间的网络连通性，可以在很大程度上提高 MHA 的网络容忍性。
ping_interval 参数值提高会增加 MHA 对于故障的判断时间，可根据业务程度的不同，对故障容忍时间的不同进行调整。
参数弊端：将 ping_interval 的值增大，MHA 对于 MySQL master 节点的检测故障时间将会延长。

下期预告

关于 secondary_check_script 参数的具体说明，以及相关网络故障的模拟测试。

相关推荐：

故障分析 | 全局读锁一直没有释放，发生了什么？

社区近期动态

本文关键字：#MHA# #网络#

点一下“阅读原文”了解更多资讯

推荐阅读

text
Android 新闻App的本地服务器搭建教程

本文介绍了在开发Android新闻App时，搭建本地服务器的步骤。通过使用XAMPP软件，可以一键式搭建起开发环境，包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表，并设置相应的属性。最后，给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]

蜡笔小新 2023-12-14 17:15:19
string
在重复造轮子的情况下用ProxyServlet反向代理来减少工作量

像不少公司内部不同团队都会自己研发自己工具产品，当各个产品逐渐成熟，到达了一定的发展瓶颈，同时每个产品都有着自己的入口，用户 ... [详细]

蜡笔小新 2023-12-13 15:19:01
数组
深入解析Linux下的I/O多路转接epoll技术

本文深入解析了Linux下的I/O多路转接epoll技术，介绍了select和poll函数的问题，以及epoll函数的设计和优点。同时讲解了epoll函数的使用方法，包括epoll_create和epoll_ctl两个系统调用。 ... [详细]

蜡笔小新 2023-12-10 14:18:30
config
禅道测试管理工具的介绍及搭建方法

本文介绍了禅道作为一款国产开源免费的测试管理工具的特点和功能，并提供了禅道的搭建和调试方法。禅道是一款B/S结构的项目管理工具，可以实现组织管理、后台管理、产品管理、项目管理和测试管理等功能。同时，本文还介绍了其他软件测试相关工具，如功能自动化工具和性能自动化工具，以及白盒测试工具的使用。通过本文的阅读，读者可以了解禅道的基本使用方法和优势，从而更好地进行测试管理工作。 ... [详细]

蜡笔小新 2023-12-09 19:03:20
config
Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法

本文介绍了在Linux服务器上进行密码过期策略、登录次数限制、私钥登录等配置的方法。通过修改配置文件中的参数，可以设置密码的有效期、最小间隔时间、最小长度，并在密码过期前进行提示。同时还介绍了如何进行公钥登录和修改默认账户用户名的操作。详细步骤和注意事项可参考本文内容。 ... [详细]

蜡笔小新 2023-12-14 17:57:01
config
rhel5.5搭建网关+LAMP+postfix+dhcp的步骤和配置方法

本文介绍了在rhel5.5操作系统下搭建网关+LAMP+postfix+dhcp的步骤和配置方法。通过配置dhcp自动分配ip、实现外网访问公司网站、内网收发邮件、内网上网以及SNAT转换等功能。详细介绍了安装dhcp和配置相关文件的步骤，并提供了相关的命令和配置示例。 ... [详细]

蜡笔小新 2023-12-14 17:13:20
get
在Windows 8上安装gvim中的插件的错误加载问题

本文讨论了在Windows 8上安装gvim中插件时出现的错误加载问题。作者将EasyMotion插件放在了正确的位置，但加载时却出现了错误。作者提供了下载链接和之前放置插件的位置，并列出了出现的错误信息。 ... [详细]

蜡笔小新 2023-12-14 14:44:00
text
CSS3选择器的使用方法详解，提高Web开发效率和精准度

本文详细介绍了CSS3新增的选择器方法，包括属性选择器的使用。通过CSS3选择器，可以提高Web开发的效率和精准度，使得查找元素更加方便和快捷。同时，本文还对属性选择器的各种用法进行了详细解释，并给出了相应的代码示例。通过学习本文，读者可以更好地掌握CSS3选择器的使用方法，提升自己的Web开发能力。 ... [详细]

蜡笔小新 2023-12-14 14:37:52
js
如何使用Java获取服务器硬件信息和磁盘负载率

本文介绍了使用Java编程语言获取服务器硬件信息和磁盘负载率的方法。首先在远程服务器上搭建一个支持服务端语言的HTTP服务，并获取服务器的磁盘信息，并将结果输出。然后在本地使用JS编写一个AJAX脚本，远程请求服务端的程序，得到结果并展示给用户。其中还介绍了如何提取硬盘序列号的方法。 ... [详细]

蜡笔小新 2023-12-14 13:56:20
go
解决Cydia数据库错误：could not open file /var/lib/dpkg/status 的方法

本文介绍了解决iOS系统中Cydia数据库错误的方法。通过使用苹果电脑上的Impactor工具和NewTerm软件，以及ifunbox工具和终端命令，可以解决该问题。具体步骤包括下载所需工具、连接手机到电脑、安装NewTerm、下载ifunbox并注册Dropbox账号、下载并解压lib.zip文件、将lib文件夹拖入Books文件夹中，并将lib文件夹拷贝到/var/目录下。以上方法适用于已经越狱且出现Cydia数据库错误的iPhone手机。 ... [详细]

蜡笔小新 2023-12-13 19:02:44
get
引擎之旅 Chapter.2 线程库

预备知识可参考我整理的博客Windows编程之线程:https:www.cnblogs.comZhuSenlinp16662075.htmlWindows编程之线程同步:https ... [详细]

蜡笔小新 2023-12-12 14:06:39
get
RouterOS 5.16软路由安装图解教程

本文介绍了如何安装RouterOS 5.16软路由系统，包括系统要求、安装步骤和登录方式。同时提供了详细的图解教程，方便读者进行操作。 ... [详细]

蜡笔小新 2023-12-12 10:22:22
get
Oracle存储过程写法小例子及已命名的异常

本文介绍了Oracle存储过程的基本语法和写法示例，同时还介绍了已命名的系统异常的产生原因。 ... [详细]

蜡笔小新 2023-12-11 15:10:15
config
如何利用 Myflash 解析 binlog ?

本文主要介绍了对Myflash的测试，从准备测试环境到利用Myflash解析binl ... [详细]

蜡笔小新 2023-12-11 09:13:37
text
MySQL数据库锁机制及其应用（数据库锁的概念）

本文介绍了MySQL数据库锁机制及其应用。数据库锁是计算机协调多个进程或线程并发访问某一资源的机制，在数据库中，数据是一种供许多用户共享的资源，如何保证数据并发访问的一致性和有效性是数据库必须解决的问题。MySQL的锁机制相对简单，不同的存储引擎支持不同的锁机制，主要包括表级锁、行级锁和页面锁。本文详细介绍了MySQL表级锁的锁模式和特点，以及行级锁和页面锁的特点和应用场景。同时还讨论了锁冲突对数据库并发访问性能的影响。 ... [详细]

蜡笔小新 2023-12-10 15:54:07

不要芹菜味

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章